AWS re:Invent 2024のAmazon Bedrockのアップデートを機能別にまとめてみた（一部マネコンの図示付き） #AWSreInvent
2024.12.09こんちには。
データ事業本部 インテグレーション部 機械学習チームの中村( @nokomoro3 )です。
みなさま、re:Invent 2024はいかがでしたか？
本記事では、Amazon Bedrockのアップデートを機能別にご紹介します。
各日のアップデートについては以下を参照ください
- AWS re:Invent 2024の0日目（現地日付12/1）のアップデートまとめてみた #AWSreInvent | DevelopersIO
- AWS re:Invent 2024の1日目（現地日付12/2）のアップデートまとめてみた #AWSreInvent | DevelopersIO
- AWS re:Invent 2024の2日目（現地日付12/3）のアップデートまとめてみた #AWSreInvent | DevelopersIO
- AWS re:Invent 2024の3日目（現地日付12/4）のアップデートまとめてみた #AWSreInvent | DevelopersIO
- AWS re:Invent 2024の4日目以降（現地日付12/5以降）のアップデートまとめてみた #AWSreInvent | DevelopersIO
Amazon Bedrock関連のアップデート
Amazon Bedrock (基盤モデル)
Amazon Bedrockに新しい基盤モデルのシリーズAmazon Novaが発表
Amazon謹製の基盤モデルのシリーズとしてAmazon Novaが発表されました。
テキスト生成モデルとしては、小さい方からMicro、Lite、Pro、Premierがあり、Premierは今後リリース予定です。
Lite以上は画像・動画の入力にも対応したマルチモーダルモデルとなっており、さらにLite以上は多言語対応となっています。
テキスト生成以外にも、画像生成のCanvas、動画生成のReelが発表されました。
今後もNovaシリーズとして、音声を入力して音声を出力するSpeech-to-Speechや、様々なモーダルのものを様々なモーダルとして出力すると考えられるAny-to-Anyをリリース予定となっています。
以下、参考記事です。
Amazon Bedrock Marketplaceの発表により、Bedrock上で3rd Partyのモデルが利用可能に
こちらはMarketplaceから選択して、自分だけが利用できるモデルをBedrockのモデルとしてデプロイすることができます。
この手法でデプロイしたモデルは、Amazon Bedrock Agents、Amazon Bedrock Knowledge Basesなどの周辺機能と統合できる部分もポイントです。
主にデプロイには2パターンあるようです。
- Claudeなどの従来のベンダーのProvisioned Throughputでデプロイ
- OSSなどの基盤モデルを、自身のアカウントのSageMakerの推論エンドポイントとしてデプロイ
前者はProvisioned Throughputの料金が発生し従来から存在しましたが、これがMarketplaceからデプロイ可能な形となっています。
後者はHuggingFaceなどから取得して使用できるモデルをSageMakerの推論エンドポイントとしてデプロイする形となっています。
以下、参考記事です。
poolside社、Luma AI社のモデル、Stability.aiの最新モデルが近日Bedrockに追加
poolside社のモデルは、コード生成・コード補完、テスト生成などエンジニアリングに特化した基盤モデルです。
強化学習を使用して学習され、パフォーマンスを継続的に向上することも可能となっています。
Luma AI社のモデルは動画生成に特化しており、SDXは画像生成モデルの最新版が追加予定です。
以下、参考記事です。
Amazon Bedrock (カスタマイズと最適化)
Amazon Bedrock Model Distillationにより大規模言語モデルの蒸留が可能に (Preview)
より大規模なモデルの正解データを使って、小さいモデルを学習して特定の用途に特化させる手法を知識蒸留と呼びます。
今回これがBedrockでModel Distillationとして可能になりました。
従来、カスタマイズとしては「Fine-tuning」と「Continued pre-training」が使用できましたが、これに加えて「Distillation」が使用可能となっています。
以下、参考記事です。
Amazon Bedrockがプロンプト・キャッシングをサポート (Preview)
プロンプト・キャッシングは、頻繁に使用されるプロンプトをキャッシュすることで、コストやレイテンシを削減できる機能となっています。
実際、キャッシュされたトークンは、通常の入力トークンよりも90%割引されます。
データ処理など、一部だけを変えて同じようなプロンプトで処理する場合、従来はバッチ推論などがスコープとなっていました。
しかしバッチ推論は50%の割引で、1000件以上の一括処理が必要でした。
今回のプロンプト・キャッシングは、このようなバッチ推論が当てはまらないケースでも有用だと思います。
以下、参考記事です。
Amazon BedrockでIntelligent Prompt Routingが発表 (Preview)
Intelligent Prompt Routingは、同じモデルファミリーの基盤モデル内で、プロンプトの複雑さに応じてより適切な基盤モデルにルーティングさせる機能となっています。これにより、品質とコストを最適化できるようになっています。
プロンプトの複雑さの判定には、高度なプロンプトマッチングとモデル理解技術を使用し、リクエストごとに各モデルのパフォーマンスを予測しているそうです。
以下、参考記事です。
Amazon Bedrock Knowledge Bases (RAG)
データソースからテキストを抽出する際のアップデート
ドキュメント・画像・音声・動画などの非構造化されたデータからテキストを取得する手法として、Bedrock Data Automation (BDA)という機能がリリースされています。
またこれに伴って、RAGのデータソースからパースする処理において「Bedrock Data Automation (BDA)」または「基盤モデルをパーサーとして使う」を選択することによって、マルチモーダルなパース処理をすることが可能となっています。
「基盤モデルをパーサーとして使う」はClaude 3.5 Sonnetに対応したことで画像に対するパースを追加でサポートしているようです。
以下、参考記事です。
Amazon Bedrock Knowledge Basesにカスタムソースとストリーミングデータの取り込みがサポート
従来はデータソースとナレッジベースの一括同期処理のみができましたが、特定のドキュメントのみを追加したり、更新、削除などが可能なAPIが準備されました。データソースとして「Custom」が選択できるようになっており、こちらを選択することで機能を使うことができます。
以下、参考記事です。
ナレッジベースとしてベクターストア以外の選択肢が追加
以前は、Knowledge Basesとして使用できるのものがOpenSearch Serverlessのベクターストアに限定されていました。
re:Invent 2024の以下のアップデートにより、Redshiftや後述するSageMaker Lakehouseのテーブル、KendraのGenAI Indexが使えるようになっています。
以下、参考記事です。
ベクターストア作成時にOpenSearch Serverless以外の選択肢が追加
ベクターストアにOpenSearch Serverlessに加えて、Neptune (GraphRAG)、Aurora PostgreSQL Serverlessの2種類が追加されています。
以下、参考記事です。
Amazon BedrockにRerankモデルが追加
ベクターストアに対する検索は、大規模なテキストデータからマッチングしたデータを抽出することができますが、大規模なデータからの検索である分、その関連性についてはある程度ざっくりした検索結果となります。
そこで一般的に使われるのが、ベクトル検索により得られた限られたデータを、更に精緻なモデルで関連性を検証して、関連性の高い順に並び替えるRerankとなっています。
以下、参考記事です。
Amazon Bedrock Knowledge Basesが自動生成クエリ・フィルターを提供し、検索を改善
ユーザのクエリとナレッジベースのスキーマ情報（名前、型、説明（description））から、自動でナレッジベース向けのフィルタを生成して検索精度を向上させることが可能となっています。
以下、参考記事です。
Amazon Bedrock Knowledge Basesがストリーミング・レスポンスをサポート
RetrieveとRetrieveAndGenerateに加え、出力を逐次取得するためのRetrieveAndGenerateStreamというAPIが追加されています。
以下、参考記事です。
Amazon Bedrock (モデル評価)
Amazon BedrockでLLMによる評価機能とRAG評価機能が追加 (Preview)
元々モデル評価機能としては「Programmatic」がありましたが、これに「Model as a judge」というものが追加されています。
またRAGにも評価機能が追加され、こちらは「Model as a judge」のみが使用できる形となっているようです。
「Model as a judge」はEvaluator Modelとなった基盤モデルにより、評価を行う機能となっています。
評価するためのプロンプトは以下に公開されています。
また、従来の「Programmatic」は、別のアルゴリズムでモデルを評価する手法となっています。詳細は以下を参照ください。
以下、参考記事です。
Amazon Bedrock (Guardrails)
Automated Reasoningが発表され、論理的・数学的思考の自動チェックが可能に (Preview)
通常のGuardrailsの機能は望ましくないコンテンツのフィルタリングに対応しており、医療などの拒否されたトピック、特定のコンテンツや単語のフィルタ、個人情報のマスクなどが可能でした。
Automated Reasoningはこれに加え、従来生成AIでは苦手とされていた「数学的・論理的に正しいかどうか」の根拠・説明性をチェックすることが可能な機能となっています。
以下、参考記事です。
Amazon Bedrock Guardrailsが画像コンテンツのマルチモーダル毒性検出をサポート (Preview)
画像に対する検出をサポートするようになり、ヘイト、侮辱、性的、暴力などのカテゴリにわたる有害な画像コンテンツを検出してブロックできるようになっています。
以下、参考記事です。
Amazon Bedrock (推論オプション)
Amazon Bedrockのlatency-optimized inferenceが利用可能に (Preview)
Bedrockのlatency-optimized inferenceがパブリックプレビューとなり、応答時間の短縮と応答性の向上を実現します。
裏側ではTrainium2のような専用AIチップとAmazon Bedrockの高度なソフトウェア最適化が活用されており、オハイオリージョンのClaude 3.5 HaikuモデルとLlama 3.1の405B、70Bモデルで利用可能です。
以下、参考記事です。
Amazon Bedrock Agentsに複数AIエージェントの協調機能「multi-agent collaboration」が追加 (Preview)
生成AIにおけるエージェントは通常、単一のタスク（旅行の予約）を複数のツールを活用して行うものでしたが、それでは汎用性に限界がありました。
そのため単一のタスクに紐づいた複数のサブエージェントを準備し、それらをまとめるスーパーバイザー的なエージェントが統括することで、より大きな目標に対するエージェントを作ることが可能となります。
以下、参考記事です。
Amazon Bedrock (その他)
PartyRockが無料の日次利用枠の設定が追加され新機能も追加
PartyRockは、Amazon Bedrockを基盤とした生成AIアプリケーション開発のためのプレイグラウンドです。
今回、無料の日次利用枠の設定や、アプリカタログ検索機能やドキュメント処理の強化が実施と発表されました。
以下、参考記事です。
AWS AI Service Cardsの更新され、いくつかのモデルが追加
AWS AI Service Cardsは、責任ある方法でサービスを構築するための包括的な開発プロセスの一部で、モデルの透明性を提供します。
こちらのNovaシリーズやTitanシリーズが追加されています。
以下、参考記事です。
まとめ
いかがでしたでしょうか。こちらで一通りAmazon Bedrockのアップデートはおさらいできるかと思います。
本記事がみなさまのご参考になれば幸いです。
